A true interpreting agent not only understands sign language and translates to text, but also understands text and translates to signs. Much of the AI work in sign language translation to date has focused mainly on translating from signs to text. Towards the latter goal, we propose a text-to-sign translation model, SignNet, which exploits the notion of similarity (and dissimilarity) of visual signs in translating. This module presented is only one part of a dual-learning two task process involving text-to-sign (T2S) as well as sign-to-text (S2T). We currently implement SignNet as a single channel architecture so that the output of the T2S task can be fed into S2T in a continuous dual learning framework. By single channel, we refer to a single modality, the body pose joints. In this work, we present SignNet, a T2S task using a novel metric embedding learning process, to preserve the distances between sign embeddings relative to their dissimilarity. We also describe how to choose positive and negative examples of signs for similarity testing. From our analysis, we observe that metric embedding learning-based model perform significantly better than the other models with traditional losses, when evaluated using BLEU scores. In the task of gloss to pose, SignNet performed as well as its state-of-the-art (SoTA) counterparts and outperformed them in the task of text to pose, by showing noteworthy enhancements in BLEU 1 - BLEU 4 scores (BLEU 1: 31->39; ~26% improvement and BLEU 4: 10.43->11.84; ~14\% improvement) when tested on the popular RWTH PHOENIX-Weather-2014T benchmark dataset
translated by 谷歌翻译
有效的模型选择,用于向下游任务识别合适的预先训练的神经网络是深度学习中的基本但具有挑战性的任务。目前的实践需要昂贵的计算成本在模型训练中进行性能预测。在本文中,我们通过在训练期间分析突触连接(边缘)的控制动态来提出一个新颖的神经网络选择框架。我们的框架是基于神经网络培训期间的回波传播相当于突触连接的动态演变。因此,融合的神经网络与由那些边缘组成的网络系统的平衡状态相关联。为此,我们构建一个网络映射$ \ phi $,将神经网络$ g_a $转换为定向行图$ g_b $,它在$ g_a $中定义。接下来,我们推导出神经电容度量标准$ \ beta _ {\ rm upf} $普遍捕获下游任务上的预测措施,仅使用少数早期训练结果。我们使用17个流行的预先训练的Imagenet模型和五个基准数据集进行了广泛的实验,包括CiFar10,CiFar100,SVHN,时尚Mnist和鸟类,以评估我们框架的微调性能。我们的神经电容度量显示为仅基于早期训练结果的模型选择的强大指标,比最先进的方法更有效。
translated by 谷歌翻译
在复杂的任务中,奖励函数并不简单,并且由一组目标,多种强化学习(RL)策略充分地执行任务,但可以通过调整个人目标对奖励功能的影响来训练不同的策略。了解政策之间的策略差异是必要的,使用户能够在提供的策略之间进行选择,可以帮助开发人员了解从各种奖励功能中出现的不同行为,并在RL系统中培训QuantEnparameters。在这项工作中,我们可以比较两项训练在同一任务的两项政策的行为,但在目标中具有不同的偏好。我们提出了一种区分源自来自不同能力的行为的差异的方法,这是两种R1代理商的偏好的结果。此外,我们只使用基于优先级的差异数据,以便产生关于代理偏好的对比解释。最后,我们在自主驾驶任务上测试和评估我们的方法,并比较安全导向政策的行为和更喜欢速度的行为。
translated by 谷歌翻译
在过去几年中,知识转移从复杂的高性能模型转移到更简单且潜在的低性能以提高其性能,这引起了人们的极大兴趣从小数据中构建和学习。该问题的已知方法(即知识蒸馏,模型压缩,profewight等)通常通过修改目标或重量训练的方案直接将信息(即单个/单跳)从复杂模型转移到所选的简单模型训练简单模型的示例。在本文中,我们通过动态选择和/或构建一系列降低复杂性的中间模型的序列,在其中将信息从复杂模型传输到简单模型,而比原始复杂模型不那么复杂。我们的方法可以使用前面提到的任何方法以及以1-HOP方式进行序列的连续模型之间传输信息,从而推广这些方法。在实际数据的实验中,我们观察到,对于1跳上的模型选择,我们将获得一致的收益,该模型平均超过2 \%,在特定情况下最多达到8 \%。我们还经验分析了多跳方法可能对传统的1跳方法有益的条件,并报告其他有趣的见解。据我们所知,这是第一份提出这种多跳的方法来执行知识转移的工作,鉴于我们认为这是一个重要的方法论贡献,这是一个高表现的复杂模型。
translated by 谷歌翻译
潜在的语义分析(LSA)和对应分析(CA)是两种使用单数值分解(SVD)来降低维度的技术。 LSA已广泛用于获得低维表示,以捕获文档和术语之间的关系。在本文中,我们介绍了文档矩阵中两种技术的理论分析和比较。我们表明,与LSA相比,CA具有一些吸引人的特性,例如,有效消除了由于文档长度和期限频率而产生的边距的影响,因此CA解决方案非常适合于文档和条款之间的关系。提出了一个统一的框架,其中包括CA和LSA作为特殊情况。我们从经验上将CA与荷兰历史文本中的英语和作者身份归因的文本分类进行了与CA进行比较,并发现CA的性能明显更好。我们还将CA应用于一个关于荷兰国歌威廉斯(Wilhelmus)的作者身份的长期问题,并提供了进一步的支持,可以将其归因于作者,在几位竞争者中。
translated by 谷歌翻译